日志分析 是一個過程，通過審查和解釋由網絡、操作系統、應用程序、服務器和其他硬件和軟件組件生成的日志，可以了解 IT 基礎設施和應用程序堆棧的性能和健康狀況。日志通常包含時間序列數據，這些數據要么使用收集器實時流式傳輸，要么存儲以供以后查看。日志分析提供對系統性能的洞察，并可以指出可能的問題，例如安全漏洞或即將發生的硬件故障。

日志分析有什么好處？

• 遵守。許多政府或監管機構要求組織證明其遵守幾乎影響每個實體的無數法規。日志文件分析可以證明組織實際上正在滿足 HIPAA、PCI、GDPR 或其他法規的要求。
• 安全性增強。隨著網絡犯罪變得越來越有組織，對更強有力的對策的需求也在增長。事件日志分析為采取主動措施提供了強大的工具，并在確實發生違規或數據丟失時啟用取證檢查。日志分析可以利用 網絡監控 數據來發現未經授權的訪問嘗試，并確保優化配置安全操作和防火墻。
• 效率。日志分析框架有助于提高整個組織的效率。每個部門的 IT 資源可以共享一個日志存儲庫，對組織日志數據的分析可以幫助發現每個業務單元和部門的錯誤或趨勢，從而實現快速修復。
• 高可用性。根據日志分析發現的信息及時采取行動可以防止問題導致停機。這反過來又可以幫助確保組織滿足其業務目標，并確保 IT 組織履行其提供具有給定正常運行時間保證的服務的承諾。
• 避免過度供應或供應不足。雖然組織必須計劃滿足峰值需求，但日志分析可以幫助預測是否有足夠的 CPU、內存、磁盤和網絡帶寬來滿足當前需求和預測趨勢。過度配置會浪費寶貴的 IT 資金，而配置不足可能會導致服務中斷，因為組織爭相購買額外資源或利用云資源來滿足需求彈性。
• 銷售和營銷效率。通過跟蹤流量和客戶訪問的頁面等指標，日志分析可以幫助銷售和營銷專業人員了解哪些計劃是有效的，哪些應該改變。流量模式還可以幫助重組組織的網站，使用戶更容易導航到最常訪問的信息。

為什么日志分析很重要？

由于日志提供了對應用程序性能和運行狀況的可見性，日志分析可以讓運營和開發團隊了解和補救在業務運營過程中出現的任何性能問題。

日志分析具有許多重要功能，包括：

• 遵守治理和監管要求以及內部政策
• 跟蹤安全漏洞和數據泄露以確定責任方并采取行動補救漏洞。
• 幫助對整個堆棧進行診斷和故障排除
• 跟蹤用戶行為異常以檢測惡意意圖或受損系統
• 協助對 惡意軟件 攻擊、滲漏或員工盜竊進行取證調查

一些監管機構堅持要求組織執行日志文件分析以證明其符合其法規，每個想要改善其網絡安全狀況的組織都需要日志分析方面的專業知識，以幫助發現和修復各種網絡威脅。日志分析有助于滿足的一些法規遵從性要求是 ISO/IEC 27002:2013，關于 IT 安全的實踐代碼，PCI DSS V3.1，涵蓋信用卡和其他財務信息的隱私，以及 NIST 800-137，關于對聯邦 IT 組織的持續監控。

如何進行日志分析？

日志是由應用程序、網絡、設備（包括可編程和物聯網設備）和操作系統生成的操作和活動的時間序列記錄。它們通常存儲在文件或數據庫中，或者存儲在稱為日志收集器的專用應用程序中，用于實時日志分析。

日志分析師的任務是幫助解釋上下文中的所有日志數據和消息，這需要對日志數據進行規范化以確保使用一組通用術語。這可以防止在一個功能發出“正?！毙盘柖渌δ馨l出“綠色”信號時可能出現的混淆，而它們都表示不需要采取行動。

通常，為日志分析程序收集日志數據，對其進行清理、結構化或規范化，然后供專家分析以檢測模式或發現異常，例如網絡攻擊或數據泄露。執行日志文件分析通常遵循以下步驟：

• 數據收集：來自硬件和軟件探針的數據被收集到中央數據庫。
• 數據索引：所有來源的數據都經過集中和索引，以加快可搜索性，增強 IT 專業人員快速發現問題或模式的能力。
• 分析：日志分析工具，包括標準化、模式識別、相關性和標記，可以使用機器學習工具自動完成，也可以在需要時手動完成。
• 監控：實時、自主的日志分析平臺可以在檢測到異常時生成警報。這種類型的自動化日志分析是對整個 IT 堆棧進行大多數持續監控的基礎。
• 報告：傳統報告和儀表板都是日志分析平臺的一部分，為運營、開發和管理利益相關者提供指標的概覽或歷史視圖。

什么是日志分析最佳實踐？

以下是有效日志分析系統的一些組件。

• 規范化：將不同的日志元素數據轉換為一致的格式有助于確?？梢赃M行“蘋果到蘋果”的比較，并且無論日志來源如何，數據都可以集中存儲和索引。
• 模式識別：現代機器學習 (ML) 工具可用于發現日志數據中可能指向異常的模式，例如通過比較隱藏在外部列表中的消息來幫助確定模式中是否隱藏著威脅。這可以幫助過濾掉常規日志條目，以便分析可以集中在那些可能表明某種異常的日志條目上。
• 標記和分類：使用關鍵字標記和按類型分類可以應用過濾器，從而加速發現有用數據。例如，當正在跟蹤攻擊 Windows 服務器的病毒時，可以丟棄所有“LINUX”類條目。
• 相關性：分析師可以組合來自多個來源的日志，以幫助解碼僅來自單個日志的數據不容易看到的事件。這在網絡攻擊期間和之后特別有用，其中來自網絡設備、服務器、防火墻和存儲系統的日志之間的關聯可以指示與攻擊相關的數據，并指示從單個日志中不明顯的模式。
• 人工智能：融入現代日志分析系統的人工智能和機器學習 (AI/ML) 工具可以自動識別和丟棄或忽略那些無助于發現異?；虬踩┒吹娜罩緱l目。有時被稱為“人為的無知”，此功能使日志分析能夠發送有關計劃的例行事件的警報，這些事件在應該發生的時候沒有發生。
• 結構化：為了獲得最大價值，所有日志數據都應該在一個中央存儲庫中并且是結構化的，以便人類和機器都可以理解。由于日志分析工具的進步，許多繁重的工作可以自動完成。因此，組織應該在所有系統組件中練習全棧日志記錄，以獲得活動和異常的最完整視圖。